Localizing anatomical landmarks are important tasks in medical image analysis. However, the landmarks to be localized often lack prominent visual features. Their locations are elusive and easily confused with the background, and thus precise localization highly depends on the context formed by their surrounding areas. In addition, the required precision is usually higher than segmentation and object detection tasks. Therefore, localization has its unique challenges different from segmentation or detection. In this paper, we propose a zoom-in attentive network (ZIAN) for anatomical landmark localization in ocular images. First, a coarse-to-fine, or "zoom-in" strategy is utilized to learn the contextualized features in different scales. Then, an attentive fusion module is adopted to aggregate multi-scale features, which consists of 1) a co-attention network with a multiple regions-of-interest (ROIs) scheme that learns complementary features from the multiple ROIs, 2) an attention-based fusion module which integrates the multi-ROIs features and non-ROI features. We evaluated ZIAN on two open challenge tasks, i.e., the fovea localization in fundus images and scleral spur localization in AS-OCT images. Experiments show that ZIAN achieves promising performances and outperforms state-of-the-art localization methods. The source code and trained models of ZIAN are available at https://github.com/leixiaofeng-astar/OMIA9-ZIAN.

非凸优化的传统分析通常取决于平滑度的假设，即要求梯度为Lipschitz。但是，最近的证据表明，这种平滑度条件并未捕获一些深度学习目标功能的特性，包括涉及复发性神经网络和LSTM的函数。取而代之的是，他们满足了更轻松的状况，并具有潜在的无界光滑度。在这个轻松的假设下，从理论和经验上表明，倾斜的SGD比香草具有优势。在本文中，我们表明，在解决此类情况时，剪辑对于ADAM型算法是不可或缺的：从理论上讲，我们证明了广义标志GD算法可以获得与带有剪辑的SGD相似的收敛速率，但根本不需要显式剪辑。一端的这个算法家族恢复了符号，另一端与受欢迎的亚当算法非常相似。我们的分析强调了动量在分析符号类型和ADAM型算法中发挥作用的关键作用：它不仅降低了噪声的影响，因此在先前的符号分析中消除了大型迷你批次的需求显着降低了无界平滑度和梯度规范的影响。我们还将这些算法与流行的优化器进行了比较，在一组深度学习任务上，观察到我们可以在击败其他人的同时匹配亚当的性能。

作为一个普遍的分布式学习范式，联邦学习（FL）训练了大量通信的大量设备的全球模型。本文研究了FL设置中的一类复合优化和统计恢复问题，其损失函数由数据依赖的平滑损耗和非平滑正常器组成。示例包括使用套索的稀疏线性回归，使用核标准正则化等等的低级矩阵恢复等。在现有文献中，联合复合优化算法仅从优化的角度设计，而无需任何统计保证。此外，他们不考虑在统计恢复问题中常用（受限）强凸度。从优化和统计角度来看，我们都会推进此问题的前沿。从优化的前期，我们提出了一种名为\ textit {快速联合双平均}的新算法，用于强烈凸出和平滑损失，并在复合设置中建立最新的迭代和通信复杂性。特别是，我们证明它具有快速的速度，线性加速和减少的沟通回合。从统计前期开始，对于受限制的强烈凸出和平滑损失，我们设计了另一种算法，即\ textIt {多阶段联合双重平均}，并证明了与线性加速绑定到最佳统计精度的高概率复杂性。合成数据和真实数据的实验表明，我们的方法的性能优于其他基线。据我们所知，这是为FL中复合问题提供快速优化算法和统计恢复保证的第一项工作。

分布式深度学习（DDL）对于大型深度学习（DL）培训至关重要。同步随机梯度下降（SSGD）1是事实上的DDL优化方法。使用足够大的批量大小对于实现DDL运行时加速至关重要。在大量批量设置中，必须增加学习速率以补偿减少的参数更新数量。然而，大型学习率可能会损害SSGD和培训可以很容易地分歧。最近，已经提出了分散的平行SGD（DPSGD）以改善分布式训练速度。在本文中，我们发现DPSGD不仅具有系统明智的运行时效，而且在大批量设置中对SSGD的显着收敛性有益。基于对DPSGD学习动态的详细分析，我们发现DPSGD引入了额外的横向依赖性噪声，可自动调整有效的学习率以提高收敛。此外，我们理论上表明这种噪音平滑了损失景观，因此允许更大的学习率。我们在18个最先进的DL模型/任务中进行广泛的研究，并证明DPSGD通常会收敛于SSGD在大批批量设置中大的学习速率的情况下融合。我们的发现一致地遍布两个不同的应用领域：计算机视觉（CIFAR10和Imagenet-1K）和自动语音识别（SWB300和SWB2000），以及两种不同类型的神经网络模型：卷积神经网络和长短期内存经常性神经网络。

对世界各地的急诊部门（ED）服务的需求不断增长，特别是在Covid-19大流行下。风险三环在优先考虑最需要它们的患者的有限医疗资源方面发挥着至关重要的作用。最近，普遍使用电子健康记录（EHR）已经产生了大量的存储数据，伴随着开发可改善紧急护理的预测模型的巨大机会。然而，没有基于大型公共EHR的广泛接受的ED基准，这是新的研究人员可以轻松访问的基准。填补这种差距的成功可以使研究人员更快，方便地开始研究，而无需详细数据预处理，并促进不同研究和方法之间的比较。在本文中，基于医疗信息MART为重症监护IV急诊部门（MIMIC-IV-ED）数据库，我们提出了一款公共ED基准套件，并获得了从2011年到2019年的50万ED访问的基准数据集。三个ed已经介绍了基于预测任务（住院，关键结果和72小时ED Revisit），其中实施了各种流行的方法，从机器学习方法到临床评分系统进行了实施。他们的性能结果评估并进行了比较。我们的代码是开源，因此任何具有访问模仿-IV-ED的人都可以遵循相同的数据处理步骤，构建基准，并重现实验。本研究提供了洞察力，建议，以及未来研究人员的协议，以处理原始数据并快速建立紧急护理模型。

具有动量（SGDM）的SGD是一种广泛使用的算法系列，用于大规模优化机器学习问题。但是，当优化通用凸功能时，任何SGDM算法都不知道与普通SGD相比。此外，即使最近的结果也需要更改SGDM算法，例如平均迭代元素和对有限域的投影，这些域很少在实践中使用。在本文中，我们关注SGDM最后一次迭代的收敛速率。我们第一次证明，对于任何恒定的动量因素，都存在Lipschitz和凸功能，SGDM的最后一次迭代均具有$ \ omega的次优收敛速率（\ frac {\ ln t} {\ ln t} {\ sqrt {\ sqrt { $ t $迭代后的t}}）$。基于这一事实，我们研究了一类（自适应和非自适应）遵循基于调查的领导者的SGDM算法，并随着动量的增加和缩小的更新而进行。对于这些算法，我们表明，最后一个迭代具有最佳收敛$ O（\ frac {1} {\ sqrt {t}}）$，用于无约束的凸随机优化问题，而没有投影到有限域的域也没有$ t $的知识。此外，当与自适应步骤一起使用时，我们显示了基于FTRL的SGDM的各种结果。也显示了经验结果。

Attention-based arbitrary style transfer studies have shown promising performance in synthesizing vivid local style details. They typically use the all-to-all attention mechanism: each position of content features is fully matched to all positions of style features. However, all-to-all attention tends to generate distorted style patterns and has quadratic complexity. It virtually limits both the effectiveness and efficiency of arbitrary style transfer. In this paper, we rethink what kind of attention mechanism is more appropriate for arbitrary style transfer. Our answer is a novel all-to-key attention mechanism: each position of content features is matched to key positions of style features. Specifically, it integrates two newly proposed attention forms: distributed and progressive attention. Distributed attention assigns attention to multiple key positions; Progressive attention pays attention from coarse to fine. All-to-key attention promotes the matching of diverse and reasonable style patterns and has linear complexity. The resultant module, dubbed StyA2K, has fine properties in rendering reasonable style textures and maintaining consistent local structure. Qualitative and quantitative experiments demonstrate that our method achieves superior results than state-of-the-art approaches.

Wind turbine wake modelling is of crucial importance to accurate resource assessment, to layout optimisation, and to the operational control of wind farms. This work proposes a surrogate model for the representation of wind turbine wakes based on a state-of-the-art graph representation learning method termed a graph neural network. The proposed end-to-end deep learning model operates directly on unstructured meshes and has been validated against high-fidelity data, demonstrating its ability to rapidly make accurate 3D flow field predictions for various inlet conditions and turbine yaw angles. The specific graph neural network model employed here is shown to generalise well to unseen data and is less sensitive to over-smoothing compared to common graph neural networks. A case study based upon a real world wind farm further demonstrates the capability of the proposed approach to predict farm scale power generation. Moreover, the proposed graph neural network framework is flexible and highly generic and as formulated here can be applied to any steady state computational fluid dynamics simulations on unstructured meshes.

操纵可变形的线性对象（DLOS）在有障碍的受约束环境中实现所需的形状是一项有意义但具有挑战性的任务。对于这项高度约束的任务是必要的；但是，由于规划人员的可变形性质，计划人员需要的准确模型很难获得，并且不可避免的建模错误会显着影响计划结果，如果机器人只是以开环的方式执行计划的路径，则可能导致任务失败。在本文中，我们提出了一个粗到精细的框架，以结合全球计划和局部控制，以进行双臂操纵DLO，能够精确实现所需的配置并避免DLO，机器人和障碍物之间的潜在碰撞。具体而言，全球规划师是指一个简单而有效的DLO能量模型，并计算出一条粗略的途径，以确保任务的可行性。然后，本地控制器遵循该路径作为指导，并通过闭环反馈进一步塑造它，以补偿计划错误并保证任务的准确性。仿真和现实世界实验都表明，我们的框架可以在使用不精确的DLO模型的受约束环境中稳健地实现所需的DLO配置。仅通过计划或控制就无法可靠地实现。

给定部分微分方程（PDE），面向目标的误差估计使我们能够了解诊断数量的兴趣数量（QOI）或目标的错误如何发生并积累在数值近似中，例如使用有限元方法。通过将误差估计分解为来自各个元素的贡献，可以制定适应方法，该方法可以修改网格，以最大程度地减少所得QOI误差的目的。但是，标准误差估计公式涉及真实的伴随解决方案，这在实践中是未知的。因此，通常的做法是用“富集”的近似值（例如，在更高的空间或精制的网格上）近似。这样做通常会导致计算成本的显着增加，这可能是损害（面向目标）自适应模拟的竞争力的瓶颈。本文的核心思想是通过选择性更换昂贵的误差估计步骤，并使用适当的配置和训练的神经网络开发“数据驱动”目标的网格适应方法。这样，甚至可以在不构造富集空间的情况下获得误差估计器。此处采用了逐元构造，该元素构造与网格几何相关的各种参数的局部值和基础问题物理物理作为输入，并且对误差估计器的相应贡献作为输出。我们证明，这种方法能够以降低的计算成本获得相同的准确性，对于与潮汐涡轮机周围流动相关的自适应网格测试用例，这些测试用例是通过其下游唤醒相互作用的，以及农场的整体功率输出作为将其视为QOI。此外，我们证明了元素元素方法意味着培训成本相当低。